Ruoff mengambil alih pemerintahan Kor V pada 1 Mei 1939, dan memimpin unit ini dalam Perang Dunia II. Beliau juga pada masa yang sama memerintah Wehrkreis V di Stuttgart.[1] Ruoff kemudian diberi memerintah Tentera Darat Ke-4 Panzer dari 8 Januari 1942 hingga 31 Mei 1942. Tentera Darat Ke-4 Panzer adalah sebahagian daripada Kumpulan Tentera Darat A yang baru dibentuk apabila Kumpulan Tentera Darat Selatan dipecahkan kepada dua formasi untuk penyerangan musim panas 1942.

Ruoff memerintah Tentera Darat Ke-17 dari 1 Jun 1942 hingga 24 Jun 1943. Tentera Darat Ke-17 juga adalah sebahagian daripada Kumpulan Tentera Darat A. Ruoff adalah Panglima Tentera Darat Ke-17 apabila, pada 3 Jun 1942, Kor Ekspedisi Itali di Rusia (CSIR) diletakkan sementara dibawahnya. Dari Jun hingga Julai, Tentera Darat Ke-17 Jerman, CSIR, dan Tentera Darat Ke-3 Romania telah disusun sebagai "Kumpulan Tentera Darat Ruoff". Pada Julai 1942, Ruoff kehilangan unit Itali itu. CSIR telah diserap oleh Tentera Darat Itali di Rusia (Armata Italiana in Russia, atau ARMIR) yang lebih besar dan dipindahkan ke Kumpulan Tentera Darat B (Heeresgruppe B).

Semasa hujung musim panas, sebagai sebahagian daripada Kumpulan Tentera Darat A, Ruoff dan Tentera Darat Ke-17 menyerang ke arah medan minyak Caucasus. Menjelang Disember, tentera Soviet telah memusnahkan ketumbukan-ketumbukan yang mempertahankan bahagian rusuk (termasuk ARMIR) dan telah mengepung Tentera Darat Ke-6 Jerman di Stalingrad. Kumpulan Tentera Darat B telah diundurkan dari selatan Rusia tetapi Ruoff dan Tentera Darat Ke-17 diarah mempertahankan "Pangkalan terdepan Kuban." Pada Jun 1943, beliau telah ditukarkan ke pasukan simpanan, dan tidak lagi dilihat bertugas sehingga perang berakhir.

Tuduhan-tuduhan serius jenayah perang telah dikenakan keatas Tentera Darat Ke-17 dibawah pemerintahan Ruoff pada tahun 1943 dalam Perbicaraan Krasnodar yang dijalankan oleh tribunal tentera Barisan Caucasia Utara Soviet.[2] Walaubagaimanapun, selepas perang, pihak Soviet Union tidak memohon ekstradisi Ruoff.[3]